낙상 감지

낙상 감지를 위해 침대의 위치에서 벗어난 채로 노인이 누워있다면 낙상으로 정의하였습니다. 이를 위해서 딥러닝 기반의 Pose estimation(YOLO v8 기반과 Coral에서 제공하는 Pose-NET과 성능 비교) 알고리즘을 통해 신체의 키포인트들을 추출합니다. 이 과정에서 현장에서 수집한 데이터로만 학습한 모델과 COCO dataset을 활용해 사전 학습을 한 뒤 학습한 모델 중 어떤 것이 성능이 더 좋은지 비교 분석을 진행하였습니다. 이렇게 학습한 모델을 통해서 추출된 key points를 활용해서 key points 정보를 기반으로 직접 조건을 정의하는 Rule-based 방법론과, 자세를 예측할 수 있는 딥러닝 모델들 중 keypoints만을 input으로 하는 모델, key points와 함께 image를 input으로 받아 자세를 판단하는 모델을 모두 구현 및 비교 연구 진행하였습니다. 추가적으로, 이불이 덮어져 있을 때를 대비한 Pose estimation 또한 구현하였습니다. 추출된 key points를 활용하여 자세 판단을 하는 모델 같은 경우, 비교 연구를 진행한 모델들을 중 가장 성능이 좋았던 flatten한 key points와 이미지를 통해 자세를 판단해주는 딥러닝 모델을 사용하였습니다.

욕창 방지를 위해서 Head pose estimation 모델을 활용하여 한 쪽 방향으로 너무 오랜 시간 동안 누워있지 않은지 판단할 수 있는 알고리즘 또한 개발하였습니다.
TPU를 활용하는 coral board를 통해서 프로젝트가 진행되고 있었기에 int 8 형식의 연산을 사용하는 coral board에 맞게 임베딩 시키기 위해 모델들을 convert 하는 작업을 진행하였습니다. Coral board에서 batch-normalization 연산을 지원하지 않기에 batch-normalization 연산을 architecture reparameterization을 통해서 대체한 RepVGG backbone을 사용하였습니다.

그리고 사용했던 논문이 torch 모델을 tflite 모델로 그대로 convert 하면 input에 배치가 달라 연산하는 과정이 추가되어 비효율이 발생하여 이를 방지하고자 pytorch 프레임워크로 짜여진 기존 논문의 코드를 학습 과정부터 tensorflow 프레임워크로 다시 코드를 작성하였습니다. 그렇게 Rep-VGG back bone을 기반으로 만들어진 모델을 변환하여 성능을 확인했을 때 성능하락이 너무 컸고 이에 대한 원인을 architecture reparameterization 기법을 int8로 quantization 하는 과정에서 parameter 손실이 너무 크다고 판단하였습니다. 이를 해결하기 위해 Rep-VGG inference model을 convert 할 때 optimization reparameterization 기법을 활용하기로 결정하였고, 이를 구현했을 때 아래와 같이 개선된 결과를 보였습니다.

Introduction

• 기존의 text2mesh를 improve한 형태.
• 기존의 text2mesh는 CLIP을 활용할 때 textual guidance가 부족하다는 점을 지적.
• Text-guided Dynamic Attention Module (TDAM)을 propose함.
• TDAM은 Forward과정에서 Spatial attention과 Channel attention을 주는 역할.
• 기존의 Text2Mesh와는 다르게, mesh의 local 영역들에 대해서 detail한 controllability를 가지게 됨.

Text2Mesh (top) vs X-mesh (bottom)

Components of X-mesh

• 기본적으로 Text2Mesh의 형태를 거의 그대로 따르고 있음.
• Positional offset을 vertex normal이 아니라 xyz방향 모두에 대해 학습.
• Positional offset의 norm은 0.1이하로 clamp함.
• Positional Encoding과 Loss term 은 Text2Mesh와 완전히 동일

Text-guided Dynamic Attention Module

• TDAM은 text-related vertex attention을 만듦.
• Channel방향, Spatial 방향 양면으로 만듦.
• Attention을 매기는 방식은 CBAM, SENet 등 과 유사한 방식.
• 대신 자기 자신의 feature만 사용하는게 아니라 textual feature도 함께 사용.

[SENet]
[CBAM]

Dynamic MLP

• Dynamic MLP

• 겉보기엔 일반 MLP와 다를 바 없지만, 여기서 파라미터 W_t가 direct parameter optimization방식이 아니라 generate되는 방식.

Channel, Spatial Attention

• η_1, η_2 는 각각 Dynamic MLP 1, 2.
• Not shared-parameter

Image augmentation의 일환으로 AI로 생성된 3d 데이터를 detection 학습에 활용

X-mesh의 강점 (개인적 견해)

1. Text2Mesh는 CLIP Loss를 통해서 Mesh를 Directly optimize하는데, 이 때 CLIP 에선 각각의 다른 Sentence와 Image 전체에 대해서 similarity를 낮추기 때문에 local-controllability가 약함.
   • CLIP 은 (body vertex의 특정 영역) vs (text들의 특정 단어)가 잘 매칭되도록 학습하는 방식이 아니라, (vertex 전체) vs (text 전체) 의 방식.
   • 실제로 실행해보면, text2mesh는 Steve jobs, iron man등 대명사들에 대해서는mesh를 곧잘 만들지만, detail한 order을 전달했을 경우에는 상당히 성능 저하가 발생함.
   • Text2Mesh는 전체 style은 잘 전달해도 Content-aware하게 stylization 하는 것을 잘 못하는데, X-Mesh는 이 부분을 TDAM의 Attention이 어느정도 담당해준다는 추측.
   • CLIP encoder들 내에서도 content-aware하게 Attention을 주는 것이 가능하다면 훨씬 더 나아지지 않을까?
   
2. 논문에서 언급하지 않았지만, Text2mesh는 random-crop을 강하게 하는 것과는 다르게, X-mesh는 항상 rendered된 이미지 전체를 image encoder의 input으로 사용.
   • Crop을 한다면 local에 대한 description만을 Clip에 전달할 수 있는게 아니기 때문에 Clip loss의 특성과 맞지 않아서 text2mesh 와 호환이 좋지 않다고 생각하여 crop 안 것으로 추측.

Results

My Result

Introduction

Generate avatars of previously unseen people from single images

Method

1. Avatar generation model
   input image로부터 neural texture 만들기(seen region)
   Texturing operation
   Neural rendering
   
2. Inpainting model
   Restore body areas unpresented in the input image.
   (Denoising diffusion probabilistic model (DDPM) 기반)
   Avatar generation model train하고 train

Avatar generation model

1. SMPLifyX와 segmentation loss를 이용하여 smpl-X fitting과 RGB image Input
   
2. Make L-channeled neural texture T
   
3. Resterizer R(T, M, Ctarget) : T와 mesh를 L-chanel의 rasterization
   
4. Render : RGB+mask output

• SMPL-X fitting
• SMPLifyX이용
-> openpose 이용
• Custom uvmap 사용
• 뒷면이 잘린 기존의 uvmap이 아닌 앞면이 잘린 uvmap사용
• Unseen 영역에 대한 생성을 잘 할 수 있도록

• Make Neural texture (256*256*21)
->16channel
stylegan2 discriminator architecture(encoder) + generator architecture
->RGB channel
->binary channel 2개(sampled pixels,sampled and inpainted pixel)

• Rasterization R(T, M, Ctarget)
[minimal_pytorch_rasterizer]
• CUDA non-differentiable mesh rasterization library for pytorch tensors with python bindings.
• Projects mesh to image using pinhole camera model
• Vertices could have any number of features (channels).
• Library also estimates normals for mesh visualization.
• Renderer (θ(R(T, M, Ctarget)))
rasterized image with (L+3+1+1) channels into Irend output RGB image
U-Net architecture with ResNet blocks

• Train
renderer θ , neural texture encoder E , generator G

IGT : different camera parameters and different body pose parameters
(modules learn to inpaint small fragments unseen in Irgb)

Dice loss-> Mask loss
Adversarial loss styleGan discriminator with R1regularization

Inpainting model

Texture inpainting
1. Compressed neural textures (VQGAN)
2. Inpainting using DDPM
• Reducing texture space
T resolution (256 × 256 × 21) leads to a huge memory requirements during the diffusion model training
• VQGAN 사용
• Train
VQGAN만 학습시키고 전체 네트워크에 붙인 후 finetuning
[Loss]
L2 loss in texture space
||T −Tres||2 2

Texture inpainting

DDPM
using the merged textures as ground truth

Inference

• Apply technique to improve avatar quality
• Reduce the impact of SMPL-X fitting imperfections : detect areas of human self-occlusion in the input image
• 겹쳐진 윤관을 따라 texture가 sampling 안하도록

Training

[Avatar generation]
2D images obtained diverse by rendering Texel dataset 13,000 people in poses
segmentation mask : using Graphonomy
SMPL-X parametric model : using SMPLify-X.
Inpainting model
renders from Texel dataset
3333 human scans from the Texel dataset
rendered each scan from 8 different views to get a multiview dataset

Evaluate

• Dataset : AzurePeople dataset, snapshotPeople

My Results

Introduction

• PIFu는 end-to-end 방식으로 deep learning을 통해 옷을 입은 사람을 찍은 단일 이미지 또는 여러 방향에서 찍은 둘 이상의 2D 이미지만을 가지고 3D surface와 texture를 추론하여 그 사람을 표현하는 3D model을 예측할 수 있는 모델이다. • PIFu는 픽셀 수준의 개별적인 local feature를 전체 물체의 global context에 fully convolutional 방법으로 align하기 때문에 높은 메모리 사용량을 필요로 하지 않는다.

Related works

• template model을 기반으로 이미지로부터 사람의 feature 또는 attribute를 추출해서 파라미터를 확률적으로 조절하는 방법으로 구현한 것이다.
• 사람의 체형, 자세 등 사람을 표현할 수 있는 정보에 관한 parametric model은 많이 사용되지만 머리카락이 없고 옷, 액세서리를 착용하지 않은 naked-human body에 관해서만 높은 표현이 가능하다.
• Pifu는 Template-based가 아닌 3D reconstruction에 관한 implicit function을 모델링하는 neural network를 사용

Pipe Line

• 이미지의 각 pixel에서, 그 위치에 관련된 global context를 고려하여 개별 feature vector를 학습하는 encoder를 학습
• 이 per-pixel feature vector와 이 픽셀에서 나아가는 specified z-depth가 주어지면 implicit function을 학습
• 이 implicit function은 해당 z-depth에 대응하는 3D point가 surface의 안에 존재하는지 밖에 존재하는지를 분류
• pixel-aligned implicit function은 fully convolutional image encoder와 MLP로 표현된 continuous implicit function인 으로 구성

Depth value

• 3차원 좌표의 depth value는 3차원 좌표와 그 이미지를 찍은 calibration matrix를 받아서 구한다.
• Calibration matrix는 카메라 내부의 intrinsic parameter와 3D space 상에서의 기준점과 카메라를 찍은 위치와의 선형변환 관계를 나타내는 extrinsic parameter를 지니고 있다.

Single-View Surface Reconstruction

pixel-aligned implicit function인 fv를 MSE의 평균을 최소화하는 방향으로 학습시킨다
함수 fv∗ : 3차원 좌표에 관한 실제 3D occupancy인 ground truth
f는 그 좌표에 관하여 implicit function인 f에 대응되는 MLP의 예측 결과 출력.

Spatial Sampling

공간에서 균일하게 샘플링한다면 대부분 point가 iso-surface에서 멀어서 네트워크의 outside 예측을 가중시킴.
iso-surface 주변만 샘플링하는 것은 오버피팅을 야기.
 surface geometry에 기반하여 uniform 샘플링과 adaptive 샘플링을 합친다. 먼저 surface geometry에서 무작위로 샘플링하고 x,y,z축에 대해 정규 분포 N (0, σ)로 offset을 더해줌. 이 샘플들을 16:1 비율을 사용한 bounding box 내에서 균일하게 샘플링한 포인트와 합친다.

Single-View Surface Reconstruction

3D 공간에서 probability field를 샘플링하고 probability field에서 Marching Cube 알고리즘을 사용하여 임곗값 0.5로 iso-surface를 추출한다.

Textrue Inference

C(Xi) : surface point인 Xi ∈ Ω에서의 GT RGB 값 N : 샘플링된 point 개
fc가 surface의 RGB 값 뿐만 아니라 물체의 3D surface 또한 학습방지를 위해 image feature인 Fv를 같이 넣어준다. 색상 추론에 집중할 수 있게 해주었다.
surface의 법선 N을 따라 surface 포인트에 offset을 도입해서 색상이 정확한 surface 뿐만 아니라 주변의 3D 공간에도 정의될 수 있도록 하여 오버피팅 방지.

Multi-View Stereo

기존의 implicit function을 두 개의 네트워크로 분해
(feature embedding function, multi-view reasoning function) f1 : view i에서 촬영한 사진마다 image encoder를 통과해서 얻은 image feature와 depth value를 통해 intermediate feature embedding Φi로 encoding
모든 view에 관해 aggregate하여 latent feature embedding 평균Φ 계산.
f2 : latent feature embedding을 input으로 받아서 occupancy 또는 RGB value인 target implicit field로 mapping.

Quantitative Results

• P2S : 재구축된 surface의 꼭지점에서 GT까지 평균을 cm 단위로 측정
• Chamfer distance : 재구축된 surface와 GT surface간의 거리
• normal reprojection error : 재구축된 surface를 2d로 투영해서 입력 이미지와 비교

My Result

Introduction

• 2D image를 통해서 3D image를 생성할 때, 기존에는 shape와 texture간의 tradeoff가 있었다.
• 본 논문에서는 미분가능하여 gradient를 통한 학습이 가능한 DMTet 적용과 StyleGAN2 구조의 차용, 등으로 둘 다 좋은 성능을 보여 2D 이미지를 통해 3D 매쉬를 생성하는 성능을 크게 향상 시켰다.

Method

Generative Model of 3D Textured Meshes
1. Mapping network
2. Geometry Generator
3. Texture Generator
4. Differentiable rendering
5. Discriminators

Latent vector

Random Input vector ‘z’ from Gaussian distribution
Non-linear mapping networks

Geometric Generator

1. Map latent vector ‘w’ to SDF values and deformation
   • 3D Conv layer+ FC layer
     
   • signed distance field(SDF)

2. Differentiable Mesh Extraction (DMTet)
   • differentiable marching tetrahedra algorithm

Texture Generator

1. 초기 4x4x512 특성 그리드 Ftex에서 시작
   
2. Ftex 를 w1 및 w2에 따라 조건이 부여된 256x256x96 크기로 Upsampling
   2-1.ModBlock2D : w1과 w2의 합(⊕)을 입히는 조건부 2D 합성곱 블록을 6개 사용
   
3. 각 ModBlock2D 블록의 출력은 조건부 1x1 커널 크기의 2D 합성곱을 적용(tTPF 층)
   
4. 마지막 tTPF 층의 출력은 크기가 256×256× 32인 세 개의 축에 정렬된 특성 평면으로 재구성
   
   
5. 표면점 p의 특성 ftex를 구하기 위해 먼저 점 p를 각 평면에 projection하고 특성의 bilinear interpolation을 수행한 다음 interpolation 된 특성을 concat
   
6. 최종적으로 p에 대한 색상 c는 16차원 hidden layer를 가진 3개의 ModFC을 사용하여 추출

Differentiable Rendering

1. render the extracted 3D mesh and the texture field into 2D images using a differentiable renderer
   
2. utilize a Nvdiffrast to render the 3D mesh into a 2D silhouette and an image
   
3. Assume that the camera distribution C that was used to acquire the images in the dataset is known.
   • Nvdiffrast : a highly-optimized differentiable rasterizer

Discriminator & Objective function

2개의 Discriminator : RGB output, 2D silhouette
-Same architecture as the discriminator in StyleGAN
Regularization : 인접한 꼭짓점의 SDF 값 사이에 정의된 교차 엔트로피 손실

• g(u) = − log(1+ exp(−u)), px is the distribution of real images, R denotes rendering

Result

Shape Variation

My Result

Introduction

• Intuitive controls for editing the style of 3D objects.
• Stylize a 3D mesh by predicting color and local geometric details which conform to a target text prompt.
• Harness the representational power of CLIP.
• Content: the global structure prescribed by a 3D mesh, which defines the overall shape surface and topology.
• Style: the object’s particular appearance or affect, as determined by its color and fine-grained (local) geometric details.
• Text2mesh propose expressing the desired style through natural language alignment of CLIP

Preliminary: CLIP

• Image 와 text등의 서로 다른 modality를 같은 space에 mapping하는 Image encoder와 text encoder를 학습.
• 서로 맞지 않는 pair에 대해서는 similarity를 최소화하고, 서로 맞는 pair에 대해서는 similarity를 최대화하는 contrastive learning.
• 기본 CLIP은 Image와 그에 해당하는 text description pair 가 있는 데이터셋을 사용해서 Image Encoder와 Text Encoder 학습.
• 딥러닝 네트워크를 통해서 생성된 output을 encoder 을 통해 CLIP loss를 발생시키고, 해당 loss로 딥러닝 네트워크를 학습 가능.
• Text input을 바꿔서 loss를 발생시켜서 image를 editing 하는 것도 가능.

Proposed Method

• Neural Style network는 각 vertex 좌표마다 positional Encoding을 적용 한 이후 color (r, g, b) 및 위치변화 displacement (d) 를 각 vertex에 적용.
• 바뀐 mesh에 renderer를 사용해서 image들을 추출하고, 2D augmentation을 사용해서 만들어진 2D image들과 주어진 natural language 들 사이에 CLIP loss를 매겨서 neural style network 학습.
• Vertex Positional Encoding
• 각 vertex마다 서로 위치를 구분해주기 위한 정보 추가.

Results

Introduction

• 3D shapes are often represented in either Volume, Point Cloud.
• However, both representations lose lack surface details.
• Mesh, however, is more desirable for real applications. • Lightweight, modelling shape details, easy to deform, etc…
• Given 2D input image, our model learn to deform a mesh, from ellipsoid to target geometry
• Regression 대신 Deform을 하는 이유?
1. Neural Network는 Residual을 배우는데 강함 (ex: detection).
2. Deformation은 add up할 수 있다. => gradually refine in detail 가능.
3. Complexity-quality trade-off에 대해 controllability를 가짐.
4. Prior knowledge 를initial mesh에 encode할 수 있다. (ex: detection의 aspect ratio, mesh의 경우 topology).
• 해당 논문에서는 Hole의 개수가 0개인 mesh를 deform한다.

Challenge 1

3D mesh와 2D image라는 서로 다른 modalities를 integration 하는 것이 이 필요
• On the 3D geometry side
• Fully convolutional Network (GCN) 으로 각 vertex에 feature를 encode.
• On the 2D image side • Extract features
• 합치는 방법
• feature pooling layer 를 이용해서 Graph의 node가 mesh의 2D projection 된 좌표에 일치하는 2D image feature을 가져오도록 만듦

Challenge 2

• Vertex location을 GT에 맞게 updat하는 것이 어려움
물체를 표현하기데에는 많은 vertex가 필요한데, 처음부터 많은 수의 vertex 를 사용하면 Receptive field가 부족한 상태에서 초반에 쉽게 틀리게 됨.
• Graph unpooling layer • 적은 vertex로 시작해서 개수를 점차 늘려나감
• 적은 verte로 대표적인 위치부터 형성하고, unpooling layer 로 vertex 를 늘려서 detail을 추가하는 단계적인 학습이 이루어짐.
• Skip-connection
• 더 넓게 global context를 배우게함.

Contribution

• We propose novel end-to-end nn architecture that generate 3D mesh from single image
• Feature pooling layer make the modalities of 2D image and 3D geometry incorporate.
• Our network predict 3D geometry in a coarse to fine manner, which is more reliable

Method – GCN

• GCN (Graph Convolutional Network)
• Convolutional => w are shared.
• F_p는 [3D vertex coordinate, feature encoding of 3D, feature from 2D ] 의 concat 형태의 feature. (2D feature는 특정 layer만)

Method – Overview

Method – Mesh Deformation Block

• Vertex location C를 projectio했을 때의 2D 좌표에 해당하는 위치 주변 네 곳의 feature을 bilinear interpolation해서 feature을 가져옴.
• Pooled feature은 기존 F_{i-1}와 concat해서 사용.
• Feature pooling은 VGG의 3_3, 4_3, 5_3 layer output을 concat해서 사용 (1280 dim)

Method-Graph Unpooling Layer

• Face-based unpooling. 각 Node당 adjacent한 node 수 (= edge 수)가 달 라져서 GCN에 용이하지 않음. • Edge-based는 fractal의 구조로 adjacent한 node 수가 동일하게 유지됨

Method: Charmfer Loss

• P: 현재 mesh, q: GT mesh

Method: Normal Loss

• K_1같은 경우는 내적 <p-k, n_q>를 0으로 만들지만,
• K_2같은 경우는 내적 <p-k, n_q>가 0이 됨.
• 즉, 인접한 face 가 GT와 비교해서 많이 꺾이면 loss가 커짐. • N_q, 즉 GT normal 로 할당한 이유는, 현재 mesh가 올바르지 않게 형성되 었을 경우 주변 node까지 잘못된 grad가 전달되기 때문일 것으로 추정.

Method-Regularization Loss

• Laplacian Regularization

• 주변 인접한 node들의 위치의 평균과 현재 node 위치의 차이가 크게 변하지 않아야 한다.
• 경우에 따라서 한 node만을 크게 deform하는 것 만으로 mesh가 잘 근사 되는 경우가 생길 수 있음. 하지만 이는 학습 초기에 악영향을 끼치므로, 주변 node들과 함께 움직이도록 만듦.

• Edge Length Regularization

Experiments – Ablation